The Reward Was in Your Data All Along: Correcting Flow Matching with Discriminator-Guided RL
用判别器引导RL修正流匹配：奖励已在数据中
🧭 生成式模型 · 判别器引导RL
FAIR at Meta · Columbia University · Mila – Québec AI Institute · McGill University · Université de Montréal
在预训练表示空间训练判别器，以其logit为奖励进行KL正则化RL，无需人类偏好即可大幅提升生成质量
📌 工作参考价值（4 点）
- 生成式推荐的质量后处理：可将类似思路用于提升生成式推荐模型（如生成item语义ID）的样本质量：利用预训练的用户/物品表示空间训练判别器，以判别器logit为奖励，通过KL正则化RL微调模型，无需人工偏好标注。
- 离线奖励构建：在推荐Agent或策略优化中，可以用判别器估计生成样本与真实数据的对数似然比，作为保真度奖励，避免昂贵的人类偏好收集，尤其适用于冷启动场景。
- 与偏好优化的协同：DRL后训练得到的模型能作为更好的初始点，再结合少量偏好反馈进行多目标RL，可获得更优的保真度-偏好帕累托前沿，可直接套用到推荐系统的多目标对齐（如新颖性、相关性）中。
- 表示空间选择：效仿其使用预训练表示空间（并非原始像素）作为判别器输入，推荐系统中可选用预训练的通用协同过滤嵌入或CLIP多模态空间，使奖励更聚焦语义相关性而非表面统计。